量化是在嵌入式系统或手机上部署训练有素的DNN模型时，是最应用的深神经网络（DNN）压缩策略之一。这是由于其对广泛的应用和情况的简单性和适应性，而不是特定的人工智能（AI）加速器和编译器，这些加速器和编译器通常仅用于某些特定的硬件（例如Google Coral Edge TPU）。随着对量化的需求不断增长，确保该策略的可靠性成为一个关键挑战。传统的测试方法收集越来越多的真实数据以进行更好的评估，通常是不切实际的，因为输入空间的尺寸很大，并且原始DNN及其量化的对应物之间的相似性很高。结果，高级评估策略已变得至关重要。在本文中，我们提出了Diverget，这是一个基于搜索的测试框架，用于量化评估。 Diverget定义了变质关系的空间，该空间模拟了输入上的自然扭曲。然后，它最佳地探索了这些关系，以揭示不同算术精度的DNN之间的分歧。我们评估了应用于高光谱遥感图像的最先进的DNN上的Diverget的性能。我们选择了遥感DNN，因为它们越来越多地部署在诸如气候变化研究和天文学之类的关键领域中的边缘（例如，高级无人机）。我们的结果表明，Diverget成功地挑战了已建立的量化技术的鲁棒性，以防止自然变化的数据，并胜过其最新的并发，Diffchaser，其成功率（平均）是四倍。
translated by 谷歌翻译
Quantifying motion in 3D is important for studying the behavior of humans and other animals, but manual pose annotations are expensive and time-consuming to obtain. Self-supervised keypoint discovery is a promising strategy for estimating 3D poses without annotations. However, current keypoint discovery approaches commonly process single 2D views and do not operate in the 3D space. We propose a new method to perform self-supervised keypoint discovery in 3D from multi-view videos of behaving agents, without any keypoint or bounding box supervision in 2D or 3D. Our method uses an encoder-decoder architecture with a 3D volumetric heatmap, trained to reconstruct spatiotemporal differences across multiple views, in addition to joint length constraints on a learned 3D skeleton of the subject. In this way, we discover keypoints without requiring manual supervision in videos of humans and rats, demonstrating the potential of 3D keypoint discovery for studying behavior.
translated by 谷歌翻译
Dynamic neural networks (DyNNs) have become viable techniques to enable intelligence on resource-constrained edge devices while maintaining computational efficiency. In many cases, the implementation of DyNNs can be sub-optimal due to its underlying backbone architecture being developed at the design stage independent of both: (i) the dynamic computing features, e.g. early exiting, and (ii) the resource efficiency features of the underlying hardware, e.g., dynamic voltage and frequency scaling (DVFS). Addressing this, we present HADAS, a novel Hardware-Aware Dynamic Neural Architecture Search framework that realizes DyNN architectures whose backbone, early exiting features, and DVFS settings have been jointly optimized to maximize performance and resource efficiency. Our experiments using the CIFAR-100 dataset and a diverse set of edge computing platforms have seen HADAS dynamic models achieve up to 57% energy efficiency gains compared to the conventional dynamic ones while maintaining the desired level of accuracy scores. Our code is available at https://github.com/HalimaBouzidi/HADAS
translated by 谷歌翻译
Proactive robot assistance enables a robot to anticipate and provide for a user's needs without being explicitly asked. We formulate proactive assistance as the problem of the robot anticipating temporal patterns of object movements associated with everyday user routines, and proactively assisting the user by placing objects to adapt the environment to their needs. We introduce a generative graph neural network to learn a unified spatio-temporal predictive model of object dynamics from temporal sequences of object arrangements. We additionally contribute the Household Object Movements from Everyday Routines (HOMER) dataset, which tracks household objects associated with human activities of daily living across 50+ days for five simulated households. Our model outperforms the leading baseline in predicting object movement, correctly predicting locations for 11.1% more objects and wrongly predicting locations for 11.5% fewer objects used by the human user.
translated by 谷歌翻译
Robots operating in human environments must be able to rearrange objects into semantically-meaningful configurations, even if these objects are previously unseen. In this work, we focus on the problem of building physically-valid structures without step-by-step instructions. We propose StructDiffusion, which combines a diffusion model and an object-centric transformer to construct structures out of a single RGB-D image based on high-level language goals, such as "set the table." Our method shows how diffusion models can be used for complex multi-step 3D planning tasks. StructDiffusion improves success rate on assembling physically-valid structures out of unseen objects by on average 16% over an existing multi-modal transformer model, while allowing us to use one multi-task model to produce a wider range of different structures. We show experiments on held-out objects in both simulation and on real-world rearrangement tasks. For videos and additional results, check out our website: http://weiyuliu.com/StructDiffusion/.
translated by 谷歌翻译
We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.
translated by 谷歌翻译
复杂的多目标任务需要在多个相互连接的级别（例如联盟形成，调度和运动计划）上协调异质机器人。动态变化（例如传感器和执行器故障，通信损失和意外延迟）加剧了这一挑战。我们将动态迭代任务分配图搜索（D-ITAGS）介绍到\ textit {同时}地址在涉及异构团队的动态设置中，地址为联盟组建，调度和运动计划。 D-Itag通过两个关键特征实现弹性：i）交错执行，ii）有针对性的维修。 \ textIt {交错执行}可以在每一层进行有效搜索解决方案，同时避免与其他层不兼容。 \ textIt {目标修复}识别并修复了现有解决方案的一部分，该解决方案在保存其余部分的同时受到给定破坏的影响。除了算法贡献外，我们还提供理论上的见解，以了解这些设置中时间和资源最优性之间固有的权衡，并在计划次级临时性上得出有意义的界限。我们的实验表明，在动态设置中，i）d-itag的速度明显比从头开始的重新计算要快得多，而溶液质量几乎没有损失，ii）理论次优界在实践中始终保持。
translated by 谷歌翻译
由于扩散张量成像（DTI）由于其独特的非侵入性评估心脏微观结构的能力而获得了心脏成像的流行，因此基于深度学习的人工智能正在成为减轻其一些缺点的重要工具，例如长期扫描时间。由于经常在快节奏的研究环境中发生，因此许多重点是展示深度学习的能力，而通常没有足够的时间来研究什么投入和建筑属性将使心脏DTI加速最大。在这项工作中，我们比较了几种输入类型（幅度图像与复杂图像），多个维度（2D vs 3D操作）以及多个输入类型（单片与多板）对训练训练的模型的性能的效果由同时的多层（SMS）采集引起的人工制品。尽管我们最初的直觉，但我们的实验表明，对于固定数量的参数，更简单的2D实价模型的表现优于其更高级的3D或复杂的对应物。最好的性能是，尽管使用获得的数据的幅度和相位组件训练了实现的模型。我们认为，这种行为是由于实现的模型可以更好地利用较低的参数，并且由于我们实验中使用的低SMS加速度因子，因此无法利用空间信息的3D模型无法利用空间信息。
translated by 谷歌翻译
人类语言中发现的最强大的模式之一是ZIPF的缩写定律，即更短的单词的趋势。自ZIPF开创性研究以来，该定律被视为压缩的体现，即形式的长度最小化 - 自然交流的普遍原则。尽管对语言进行优化的说法已经变得时尚，但衡量语言优化程度的尝试却相当稀缺。在这里，我们证明压缩在无例外的大量语言中表现出来，并且独立于测量单位。这两个单词长度都可以在书面语言的字符以及口语的持续时间中检测到。此外，为了衡量优化程度，我们得出了一个随机基线的简单公式，并提出了两个分数归一化的分数，即，它们相对于最小值和随机基线都进行了归一化。我们分析了这些和其他分数的理论和统计优势和缺点。利用最佳分数，我们首次量化了语言中单词长度的最佳程度。这表明当单词长度以字符测量时，语言平均被优化至62％或67％（取决于源），当单词长度及时测量时，平均而言，平均而言，平均而言，平均而言，平均而言，平均而言，平均至65％。通常，口语持续时间比字符中的书面单词长度更优化。除了这里报告的分析外，我们的工作还铺平了衡量其他物种发声或手势的最佳程度的方法，并将其与书面，口语或签名的人类语言进行比较。
translated by 谷歌翻译
联合学习（FL）为培训机器学习模型打开了新的观点，同时将个人数据保存在用户场所上。具体而言，在FL中，在用户设备上训练了模型，并且仅将模型更新（即梯度）发送到中央服务器以进行聚合目的。但是，近年来发表的一系列推理攻击泄漏了私人数据，这强调了需要设计有效的保护机制来激励FL的大规模采用。尽管存在缓解服务器端的这些攻击的解决方案，但几乎没有采取任何措施来保护用户免受客户端执行的攻击。在这种情况下，在客户端使用受信任的执行环境（TEE）是最建议的解决方案之一。但是，现有的框架（例如，Darknetz）需要静态地将机器学习模型的很大一部分放入T恤中，以有效防止复杂的攻击或攻击组合。我们提出了GradSec，该解决方案允许在静态或动态上仅在机器学习模型的TEE上进行保护，因此将TCB的大小和整体训练时间降低了30％和56％，相比之下 - 艺术竞争者。
translated by 谷歌翻译